JevOut: Natural Context Can Flip Decision Models
自然上下文可翻转决策模型：JevOut 研究
🧭 LLM 决策接口鲁棒性评估
University of Southern California
优化自然上下文可在 61.4% 初始正确决策上诱导 Jev 转向固定错误选项，揭示决策模型脆弱性
📌 工作参考价值（4 点）
- 电商/Agent 系统中若用 LLM 作为决策接口（如意图分类、工具路由、选项选择），需警惕用户 query 附带的历史上下文或检索结果可能被自然语言注入扰动，导致高置信错误决策。建议对上下文长度和来源做限制，或加入一致性校验、多模型投票。
- 该研究利用模型输出概率作为优化信号生成流畅对抗上下文，说明黑盒决策模型可被高效攻击。业务中应避免直接暴露概率分布，或对概率输出做平滑、校准，防止攻击者利用梯度/概率反推。
- 对生成式推荐中 LLM 直接生成 item 选择（如 Semantic ID）的场景，可借鉴此方法构造自然对抗性上下文来测试推荐决策的鲁棒性，提前发现 prompt 设计缺陷。
- 作为工程评估实践，可在上线前构造“看似正常但误导”的上下文样本，量化决策模型的 flip rate 和高置信错误率，作为鲁棒性指标纳入模型验收。